Trong số những bạn gái thời trai trẻ của Brown có nhà báo Sheena McDonald, Marion Calder,[15] và công chúa Margarita, trưởng nữ của nhà vua România lưu vong, Michael. Margarita kể lại: "Đó là một mối tình nghiêm túc và lãng mạn. Tôi chưa bao giờ hết yêu anh ấy nhưng vào một ngày tôi nhận thấy có cái gì bất ổn, đó là chính trị, chính trị, và chính trị, và tôi thấy mình hụt hẫng."

Brown kết hôn với Sarah Macaulay, hôn lễ được tổ chức riêng tư tại nhà ở North Queensferry, Fife, ngày 3 tháng 8 năm 2000.[45] Ngày 28 tháng 12 năm 2001, Sarah sinh non, con gái của họ, Jennifer Jane chết ngày 8 tháng 1 năm 2002. Gordon Brown nhận xét:

Tôi không nghĩ cuộc sống chúng tôi có thể giống như trước, biến cố này khiến chúng tôi biết điều gì là quan trọng. Nó giúp chúng tôi biết tận dụng thì giờ, khiến chúng tôi quyết tâm hơn, và phải hoàn thành điều nên làm, chúng tôi phải sống như thế. Jennifer đã mở mắt cho chúng tôi.[46]

Họ có hai con, John và James Fraser. Tháng 11 năm 2006, James Fraser được chẩn đoán mắc chứng xơ nang (cystic fibrosis).[47]

Không giống Cherie Blair, Sarah Brown ít khi xuất hiện cùng chồng trước công chúng. Dù muốn bảo vệ cuộc sống riêng tư, bà phải thừa nhận rằng cuộc sống của bà đã thay đổi từ khi dọn đến ngôi nhà số 10 đường Downing. Bà không chịu để báo chí hoặc truyền hình phỏng vấn.[48] Cũng cần biết Brown chưa hề có bằng lái xe.[49]